Đời sau có giả thuyết là vua Tống Cao Tông mượn tay Tần Cối để diệt trừ Nhạc Phi. Có rất nhiều lý do:

1. Nhạc Phi khi trực chỉ phủ Hoàng Long, kinh đô nhà Kim, thì sẽ cứu 2 vua Huy Tông và Khâm Tông. Cao Tông sợ phải dâng lại ngai vàng cho hai người đó nên cách duy nhất để tránh việc đó là Nhạc Phi phải biến mất
2. Nhạc Phi công cao cái chủ. Thắng nhiều trận nên uy danh át cả vua. Nhà Tống vốn rất đề phòng võ quan, thông qua các sự kiện lịch sử đã từng làm uổng hoặc chết mất tướng tài. Nhạc Phi là một võ tướng rất thành công, do vậy mà quân thần nhà Tống coi là cái gai trong mắt.
3. Cao Tông mang nặng tư tưởng đương thời của nhà Tống, nghĩ rằng trả tiền cho Di Địch vẫn rẻ hơn là cung cấp cho quân đội nhà Tống. Vốn dĩ xuất thân thư sinh, các quân chủ nhà Tống rất bạc về lễ với giới cấp binh sỹ, và không thích đầu tư vào giới quân sự.

Truyền thuyết cũng nói rằng những kẻ có ý định xử tội Nhạc Phi đã bị hồn ma của ông săn đuổi và phải tự sát.

Cũng có truyền thuyết nói Nhạc Phi là con chim Đại Bằng bên cạnh Phật tổ còn vợ của Tần Cối là con dơi Nữ Thổ Bức trong nhị thập bát tú. Vì tính tình nóng nảy nên đã giết chết con dơi khi đang nghe Phật tổ thuyết pháp (do con dơi đó đánh rắm), tạo nghiệt chướng nên bị đày xuống trần để trả món nợ cho vợ Tần Cối. Truyền thuyết này được ghi lại trong tiểu thuyết dã sử Thuyết Nhạc toàn truyện (bản dịch ở Việt Nam là Nhạc Phi diễn nghĩa).

Món bánh giò cháo quẩy của người Hoa được làm bằng bột chiên trong dầu, luôn luôn làm từng cặp dính nhau, đó là tượng trưng cho vợ chồng Tần Cối bị trói với nhau và ném vào vạc dầu hành tội.

Nhạc Phi và sự kiện Tĩnh Khang cũng được tiểu thuyết gia kiếm hiệp Kim Dung nhắc đến trong một số tác phẩm của ông: Anh hùng xạ điêu, Tiếu ngạo giang hồ. Trong tiểu thuyết dựa Kim Dung Võ lâm ngũ bá, Chu Đồng cũng là thầy dạy võ của Đông tà Hoàng Dược Sư. Cũng theo truyện, Vũ Mục di thư là tác phẩm do ông viết về cách hành quân bố trận, sau này được Quách Tĩnh và Hoàng Dung tìm thấy.